上一篇成功用 Node 和 Python 把 Open WebUI 給 Run 起來,很順利的使用 UI 介面跟語言模型溝通,那今天就要來繼續玩看看 Open WebUI 的其他應用。
在 Open WebUI 的這個聊天視窗,可以看到輸入訊息的地方有「+」號可以上傳檔案。那我這邊範例是將高雄市政府凱米颱風的受災補助當作 AI 的輔助資料,因為 AI 沒有時間觀念的,也不可能知道凱米颱風在 2024/7/25、26 重創台灣。那可以看到在有資料輔助的情況下,AI 可以非常正確的回答問題。這個技術是叫做 RAG (檢索增強生成),就是 AI 會根據他有的資料進行檢索,然後回答他本來不知道的事情。Open WebUI 將這個技術都包在程式裡面,非常的方便,後續要來自己建 RAG 的程式再來詳細聊聊這個技術。
好像有個問題,怎麼會有簡體字??
我自己是推論模型在學習時的中文資料大多數為簡體,那可以透過 Prompt 的方式去告訴 AI 說我希望他回傳的內容是繁體中文。找到「Settings -> General -> System Prompt」這個地方告訴 AI,我希望他回覆的內容是繁體中文。
加入 Prompt 之後就沒有出現簡體中文了!🎉
以我自己的使用經驗來說,Prompt 和提問的精確度很大程度的會影響 AI 輸出的結果。
只有說請 AI 摘要,不是很明確的指令
除了說請 AI 摘要,也明確列出希望包含什麼內容
比較上下兩張圖可以發現有明確說出要包含什麼內容的,可以很好的得到我想要的摘要結果。所以在 Prompt 明確清楚的表達自己要的東西,AI 才可以更好的掌握到我們想要的結果。
Open WebUI 也提供社群平台 - Open WebUI Community 可以看看其他人分享的模型和 Prompt,每個模型都有自己擅長的東西,像是寫程式、圖片辨識等等。
我這邊選擇的是一個影像辨識的來實作 (Foto Forge),那將他下載到 Open WebUI 之後,選擇這個模型然後上傳一張圖片,就可以請他分析圖片內容。
除了這個影像辨識的模型之外,還有很多不錯的模型,像是擅長寫程式的 CodeWritter、Code Companion 或者擅長生成 Midjourney 圖片的 Prompt 的 Midjourney prompt generator 都還不錯。
Midjourney 使用只要在 Discord 聊天室中輸入想要的圖片特徵自然語法指令,電腦便會自動依照指示產出圖像。然而,目前 Midjourney 沒有提供免費的服務,不過在訂閱之後,有提供25張圖片內免費的服務,若不滿意可以申請退款。
Prompt Engineering 真的是很重要的技能,往往都是要經過不斷的微調才會有最終滿意的結果 (跟訓練模型調參數一樣)。另外 Open WebUI Community 是個非常棒的平台,可以使用很多大神調教過的模型。我自己也還在摸索這個平台,因為本人英文不太好,但我是覺得非常的有趣!
今天帶爸爸吃父親節大餐,所以內容比較簡單也比較少😆
祝全天下的爸爸父親節快樂🎊